跳到主要内容

RocketMQ 原理

ACK 机制​

RocketMQ 的 ACK（Acknowledgment）机制是指消息消费者向消息队列发送确认信号，以告知消息队列该消息已经被成功消费。ACK机制的目的是确保消息的可靠性传递，即保证消息不会丢失或被重复消费。

在 RocketMQ 中，消费者接收到消息后需要进行消息处理，并通过调用 ACK 方法来发送消费确认信号。ACK机制有两种模式：自动 ACK 模式（Auto ACK）和手动 ACK 模式（Manual ACK）。

  1. 自动ACK模式（Auto ACK）： 在自动ACK模式下，当消息消费者成功处理一条消息后，RocketMQ会自动将该消息标记为已经消费成功，无需手动调用ACK方法。这种模式适用于那些不需要对消息进行手动确认的简单业务场景，但可能会存在消息处理失败的情况，因为消费者无法手动处理异常。

  2. 手动ACK模式（Manual ACK）： 在手动ACK模式下，消息消费者需要在处理消息后手动调用ACK方法来确认消息的消费结果。这种模式更为灵活，消费者可以根据自身的业务逻辑来决定何时确认消息的消费成功。当消费者调用ACK方法确认消息成功后，RocketMQ将该消息标记为已消费，并从消费者端移除。

手动ACK模式可以确保消息的可靠消费，并且可以处理消费过程中的异常情况。如果消费者在一定时间内未能确认消息消费结果，RocketMQ会将该消息重新发送给其他消费者进行处理，以保证消息不会丢失。

需要注意的是，当消费者使用手动ACK模式时，务必在消息处理过程中处理异常，并在异常情况下进行消息的重试或进行相应的处理。否则，消息可能会被认为未成功消费，从而触发消息重试或进入死信队列。

通过选择适合的ACK模式，消费者可以根据自身的需求来平衡消息的可靠性和消费的灵活性。

Offset 何时位移​

在 RocketMQ 中，Offset 是用来标识消息在消息队列中的位置或偏移量。它用于记录消费者在消息队列中消费的进度，以便在断开连接或重启后能够继续消费未消费的消息。

Offset 的位移是在消息被消费后确定的，具体取决于消费者的ACK机制和消费模式。

  1. 自动 ACK 模式（Auto ACK）： 在自动ACK模式下，消费者无需手动调用ACK方法确认消息的消费结果，RocketMQ会自动将消息标记为已消费。在这种情况下，Offset的位移是在消息被消费之后确定的。

  2. 手动 ACK 模式（Manual ACK）： 在手动ACK模式下，消费者需要在消息处理成功后手动调用ACK方法来确认消息的消费结果。消费者在调用ACK方法之前，消息的Offset位移不会改变。只有在消费者调用ACK方法确认消息消费成功后，RocketMQ会将消息标记为已消费，并更新Offset的位移。

在RocketMQ中，消费者可以通过保存或记录消费的Offset位移来实现断点续传的功能。当消费者重新启动后，可以通过指定之前消费的Offset位移来从断点处继续消费未消费的消息。

值得注意的是，Offset位移是相对于每个消息队列而言的，每个消息队列都有自己的Offset位移。因此，消费者需要跟踪每个消息队列的Offset位移，以确保消费的持续性和正确性。

总而言之，Offset位移是在消息被消费后确定的，并且在自动ACK模式和手动ACK模式下有不同的更新时机。消费者可以通过管理和记录Offset位移来实现消息的持久性消费。

Broker 复制原理​

RocketMQ的Broker复制原理是指在RocketMQ的消息存储层面实现高可用性和数据冗余的机制。通过Broker复制，可以将消息数据复制到多个Broker节点上，以提供数据的备份和故障容错能力。

RocketMQ采用主从复制（Master-Slave Replication）的方式来实现Broker的数据复制。在每个Broker集群中，有一个主节点（Master）和多个从节点（Slave）。主节点负责接收和写入消息，而从节点则负责复制主节点的消息数据。

具体的复制原理如下：

  1. 主节点写入消息： 当生产者发送消息到Broker时，主节点负责接收消息并写入磁盘。主节点会将写入的消息数据同步到内存缓冲区，并将消息数据写入磁盘的CommitLog文件中。

  2. 从节点复制数据： 主节点会将写入的消息数据异步地复制给从节点。从节点定时地拉取主节点的消息数据，并将消息数据写入自己的磁盘中的CommitLog文件。通过这种方式，从节点实现了与主节点数据的同步和复制。

  3. 从节点的数据一致性： RocketMQ采用基于写入位置的方式来保证主从节点的数据一致性。主节点在将消息写入磁盘后，会记录消息的写入位置，并将这个写入位置信息传输给从节点。从节点接收到写入位置后，会从相应位置开始复制主节点的消息数据。这种方式可以保证主从节点的数据是一致的。

  4. 选举与切换： 在RocketMQ中，主节点的选举和切换是通过NameServer协调的。当主节点出现故障或不可用时，NameServer会检测到主节点的状态，并从可用的从节点中选举出一个新的主节点。一旦新的主节点选举出来，从节点会将复制进度更新到新的主节点，并从新的主节点同步数据。

通过Broker复制机制，RocketMQ实现了消息的数据冗余和高可用性。即使主节点发生故障，从节点可以接管主节点的工作并继续提供消息的读写服务，从而保证消息的可靠性和持久性。同时，主从复制也提高了系统的整体吞吐量和可伸缩性。